Sau Cách mạng tháng Tám, ông giữ chức Ủy viên Kỳ bộ Việt Minh Nam Bộ. Khi chiến tranh Đông Dương nổ ra tại Nam Bộ, ông tham gia công tác quân sự, giữ chức Chi đội trưởng Chi đội (tương đương trung đoàn) 14, Khu trưởng Khu 8, xứ ủy viên Nam Bộ (1946-1948); Tư lệnh kiêm Chính ủy Khu Sài Gòn - Chợ Lớn; Tư lệnh Khu 7 (1949-1950); Phó Tư lệnh Nam Bộ, Tư lệnh Phân khu Miền Đông Nam Bộ (1951-1954).

Năm 1955, ông tập kết ra Bắc, giữ chức Phó Tổng tham mưu trưởng Quân đội nhân dân Việt Nam (1955-1962), Phó Chủ nhiệm Tổng cục Quân huấn (1958), Giám đốc Học viện quân chính và Chánh án Tòa án quân sự Trung ương (1961).

Từ năm 1963, ông được cử vào Nam làm Tư lệnh Quân giải phóng miền Nam (1963-1967 và 1973-1975), Phó Tư lệnh Quân giải phóng miền Nam (1968-1972), Phó Bí thư Quân ủy Quân giải phóng Miền Nam.

Sau Hiệp định Paris 1973, ông làm Trưởng đoàn đại biểu quân sự Chính phủ Cách mạng Lâm thời Cộng hòa Miền Nam Việt Nam tại Ban Liên hiệp đình chiến bốn bên ở Sài Gòn.

Sau ngày 30 tháng 4 năm 1975, ông giữ chức Chủ tịch Ủy ban Quân quản Sài Gòn - Gia Định, Tư lệnh kiêm Chính ủy Quân khu 7.

Từ năm 1978 đến năm 1982, ông giữ chức Thứ trưởng Bộ Quốc phòng.

Từ năm 1992 ông là Phó Chủ tịch Hội Cựu chiến binh Việt Nam.

• Ông là ủy viên Ban chấp hành Trung ương Đảng Cộng sản Việt Nam (dự khuyết khóa III, chính thức khóa IV).
• Ông được phong quân hàm Trung tướng năm 1959,[3] Thượng tướng năm 1974.